Ngày nay nhà tù, nhất là ở những nước phát triển, được xây dựng rất quy củ. Một nhà tù thường bao gồm nhiều dãy nhà giam khác nhau, mỗi dãy lại được chia thành nhiều buồng riêng biệt có số hiệu và tên gọi riêng để phân biệt. Mỗi buồng giam có thể được chia nhỏ thành những ô, ngăn (xà lim), nơi thường giam giữ 1 hay 2 tù nhân.

Bao quanh các dãy nhà là hệ thống hàng rào bảo vệ cùng chòi canh gác nhằm ngăn chặn bất cứ ý định vượt ngục nào của tù nhân, đồng thời ngăn chặn những ý định xâm nhập bất hợp pháp vào nhà tù.

Ngoài những buồng giam, nhà tù còn có thể gồm một nhà thờ nhỏ (tại các quốc gia đa số dân cư theo tôn giáo), thư viện, phòng y tế hay thậm chí phòng tập thể hình giúp phạm nhân rèn luyện sức khỏe.

Thông thường thì tại một số nhà tù đặc biệt còn có thêm những buồng biệt giam, đây là nơi giam giữ tạm thời những kẻ có tư tưởng chống phá mạnh, hay những tù nhân vi phạm kỷ luật. Khi bị giam giữ tại các buồng biệt giam này, tù nhân phải chịu một cuộc sống khó khăn hơn nhiều so với tại buồng giam thông thường. Họ gần như không được ra ngoài, tất cả mọi hoạt động đều phải tiến hành trong buồng giam chật hẹp.